Proyecto

Equipo:

1. Introducción

El objetivo de este proyecto es poder elaborar un modelo que nos permita identificar la potencial rentabilidad de un nuevo video juego, de manera de determinar si vale la pena o no invertir en él. Para esto, el experto indica que esta potencial rentabilidad está relacionada con la posible evaluación que le den los usuario al juego y con las ventas estimadas de éste. Para poder llevar acabo este modelo, se nos facilita un conjunto de datos con 7881 registros y 16 atributos, en donde cada registro corresponde a un video juego, y los 16 atributos son características de estos juegos, en donde destacan la empresa que los lanzó, la empresa que los desarrolló, la fecha de lanzamiento, el o los géneros asociados al juego, las ventas estimadas, la evaluación de los usuarios, entre otros atributos. Dentro de este conjunto de datos, la variable ventas estimadas (estimated_sells), y evaluación de los usuarios (rating) son nuestras variables objetivos o a predecir, y todas las demás serán las variables predictoras.

El problema se dividirá en dos partes, en la primera se buscará predecir el rating que tenga el juego en base a sus características, y en la segunda se buscará predecir las estimated_sells. La primera parte se evalua respecto a la métrica f1_weighted, ya que la idea es equilibrar qué tan bien anda el modelo tanto con su precision como con su recall, teniendo en consideración la cantidad de ejemplos por cada clase. Por otro lado, la segunda parte se evaluará según r^2, que representa qué tanta variabilidad del problema es explicada por el modelo.

Para resolver este problema, se realizaron varias transformaciones a los datos de entrada, en donde las variables numéricas se escalaron para dejarlas todas dentro del mismo orden de magnitud y las variables categóricas se transformaron en numéricas a través de distintos mecanismos dependiendo de la naturaleza de la variable categórica, cuyo detalle se explica más adelante. Luego, se estableció un baseline para los dos problemas a resolver, en donde para la clasificación se utilizó un KNN y para la regresión un árbol de decisión, obteniendo resultados bastante deplorables, sobre todo para el problema de regresión. Luego para mejorar los resultados obtenidos en el baseline, se procedió a realizar una búsqueda de grilla variando entre dos modelos de ensamblaje y distintos hiperparámetros a modificar, y los obtenidos lograron superar el baseline, sin ser considerablemente mayores, pero por lo menos se cumplió el objetivo.

Respecto a los resultados obtenidos en comparación con los demás concursantes de la compentencia, podemos decir que hasta el momento en que este informe fue escrito, en el problema de clasificación logré un 9no lugar a 0.058 puntos del primer lugar, y en el problema de regresión un 4to lugar a 0.24 puntos del primer lugar.

2. Análisis Exploratorio de Datos

En esta sección se realizará el análisis exploratorio de los datos, en donde se realizará un análisis univariado y multivariado. Primero se partirá realizando un pandas profiling que nos entrega un informe bien completo sobre el conjuntos de datos que estaremos trabajando.

El reporte que entrega pandas permite observar que el dataset no consta con valores faltante ni tampoco de registros duplicados. Mencionar que consta de 16 variables de las cuales sólo 5 son numéricas, las demás categóricas. Sobre las numéricas notar que todas poseen curvas muy asimétricas, concentrando la mayoría de sus valores en el lado izquierdo de su distribución, haciendo que los valores obtenidos para la skewness sean altos, en donde la variable price es la que posee el valor más bajo de 1.99. Si observamos el valor para la kurtosis, es posible notar que para todas las variables su valor es mayor a 3, lo que indica que es más probable obtener outliers. También destacar que el percentil 95 del atributo required_age es 0, lo que indica que el 95% de los juegos no tiene restricción de edad.

Sobre las variables categóricas mencionar que el nombre no entrega información ya que todos sus valores son únicos, por lo que no se utilizará como variable predictora. El atributo release_date está como categórico, pero debería transformarse a fecha. Por otro lado, notar que el 98.6% de los valores de la variable english son 1, lo que muestra el desbalance de datos sobre esta característica. Destacar que sobre el atributo platforms sólo 1 registro no opera con Windows, los demás todos poseen soporte en este sistema operativo. Por otra parte, las características genres y tags parecieran contener la misma información, con la salvedad de que la primera, es un subconjunto de la segunda.

A continuación se realizará un análisis exploratorio haciendo la distinción sobre la variable a predecir. Primero abordaremos el problema de clasificación, y luego el de regresión.

Rating

Para entender cómo se relacionan las demás variables con la variable objetivo para el problema de clasificación, se mostrará cuántas observaciones tenemos para cada valor de esta variable.

Se puede observar que los datos están desbalanceados, sin embargo la diferencia entre la categoría que posee más observaciones y la que posee menos no es tan extrema, por lo que no debería ser un problema. A continuación se verá cada uno de los atributos de interés cómo se relacionan con nuestra variable objetivo. Las variables name, developer, publisher, categories, genres, tags y short_description, se abordarán al último debido a que como son atributos categóricos con muchos valores únicos, se hace poco práctico su visualización y se deberá manipularlos para poder realiza el análisis explotario.

Sobre esta visualización, resaltar que la variable english no parece diferenciar entre los distintos valores del rating, ya que cuando el valor es 1, parecieran tener la misma cantidad de registros para cada uno de los valores de rating. Si ahondamos un poco en esta variable podemos observar lo siguiente.

Se aprecia que las proporciones asociadas con rating respecto a si el juego es en inglés o no se mantienen para las categorías Mixed, Mostly Positive y Positive, sin embargo para Negative y Very Positive, que justamente resultan ser las categorías más extremas, los resultados se invierten, en donde cuando el juego no es en inglés, entonces posee menos votos negativos y más votos muy positivos, en cambio cuando es en inglés, recibe el doble (en proporción) de votos negativos y la mitad de votos muy positivos (también respecto a la proporción en su grupo). Notar también que para los juegos que no están en inglés, la categoría que más se vota es Very Positive, mientras que en inglés es la que menos se vota.

Sobre la variable platforms podemos observar que en general para las distintas plataformas las categorías del rating poseen la misma distribución. Llama la atención es que para la plataforma windows exiten más observaciones de rating Mixed, en cambio para todas las demás, la categoría que predomina es Positive. También notar que, en proporción, la plataforma windows es la que posee más votos Negative, superando a la categoría Very Positive, lo cual no ocurre en ninguna otra plataforma.

Sobre la variable price, la verdad es que el gráfico no permite distinguir bien un comportamiento, por lo que se visualizará de una manera distinta.

Ahora sí queda más claro cómo distribuye el price en función de su rating. Sólo destacar que en general los juegos con el rating de Negative, poseen un mayor concentración de sus precios hacia valores más bajos. Las demás categorías del rating poseen distribuciones bien similares.

Para la variable required_age, al igual que para english, a simple vista no se nota algún patrón característico, sin embargo, si vemos cómo se comportan las proporciones para cada una de las categorías del rating podemos observar lo siguiente.

En este gráfico se visibiliza de mejor manera como se relaciona la variable required_age con rating, y es posible notar que no existen grandes diferencias en cómo distribuyen las distintas categorías del rating respecto a la edad requerida.

Por último, sobre las variables achievements y average_playtime no es posible observar mucho debido a los valores extremos que posee, por lo que haremos un zoom sobre estos gráficos, filtrando los valores extremos.

Es posible notar respecto a la variable achievements que en general para las distintas categorías no existe una gran diferencia en cómo distribuye respecto a ellas. Sí resaltar que para el caso de la categoría negative, la mediana de achievements está mucho más cerca del cero que las medianas de las otras categorías.

Por otro lado, sobre la variable average_playtime es posible observar que en general sus distribuciones para las distintas categorías del rating no varían mucho, dejando entrever la poca relación que existe entra estas variables. A diferencia de la variable achievements, para la categoría negative esta variable posee su mediana más lejos del cero respecto de las demás categorías del rating.

Por último, se visualizará como se relaciona la variable release_date respecto al rating, pero para esto primero se creará un nuevo atributo llamado Año debido a que como el rango de fechas que maneja esta variable es muy amplio, se hace dificil poder visualizar cómo distribuye a lo largo del tiempo.

La verdad es que el gráfico demuestra que no existe un patrón claro respecto al rating del juego y el año en que fue lanzado, ya que para cada año las columnas del histograma poseen proporciones muy parecidas sobre las distintas categorías del rating. Por último, se visualizará como se relacionan entre pares de variable numéricas y nuestra variable objetivo rating.

La verdad es que esta visualización no releva patrones claros sobre relaciones entre variables numéricas y la variable objetivo. En parte se debe a que las distribuciones de la mayoría de las variables numéricas son muy asimétricas y con cólas muy largas. Para entender mejor si existe una relación entre las variables numéricas del dataset, podemos ver la matriz de correlación.

En general se observan valores de correlaciones muy bajos, donde el mayor en valor absoluto es 0.57, entre las variables estimated_sells y average_playtime. En general los valores obtenidos indican que no existen relaciones fuertes entre las variables numéricas.

Estimated_sells

Ahora haremos el mismo análisis que acabamos de realizar, pero se buscarán las relaciones entre las variables predictoras y la variable estimated_sells que es nuestra variable objetivo para el problema de regresión. Primero recordaremos cómo distribuye esta variable.

Se observa que la mayoría de sus valores están concentrados bajo los 10 millones. Ahora se visualizará considerando sólo los datos hasta el percentil 95.

Sigue siguendo una distribución muy concentrada en valores muy bajos. Miraremos cómo se comportan con los valores que están bajo los 100000, que equivale al 80% de los datos.

Es posible notar el mismo comportamiento. Por lo tanto se observa que en general la variable estimated_sells está muy concentrada en valores pequeños. A continuación revisaremos como se comportan las demás variables respecto a nuestra variable objetivo. Primero se visualizará cómo se comportan las variables numéricas respecto a estimated_sells. Sólo para poder entender mejor el comportamiento, se graficarán los registros que estén bajo el percentil 95.

Observando la visualización recién presentada, es posible notar que no existen relaciones claras entre la variable estimated_sells y las demás variables predictoras. Con la variable que más pareciera tener algún grado de complicidad es con average_playtime que es justamente con la que posee mayor correlación según vimos anteriormente. Ahondaremos sobre la variable platforms, debido a que no se logra apreciar bien las distribuciones para cada una de las categorías de ésta.

En este gráfico sí se logra entender que en general las distribuciones de estimated_sells para las distintas categorías de platforms se comportan de manera muy similar, lo que da a entender de que saber la plataforma no entre mucha información sobre las ventas estimadas. A continuación veremos cómo se comportan las medianas de las ventas estimadas de los juegos a lo largo de los años.

Interesante notar que hay dos picks bien altos durante el periodo de estudio, en el año 1998 y 2004. La verdad es que intuitivamente el año de creación de un juego no tendría que por qué determinar su estimated_sells, ni su rating.

Ahora realizaremos una reducción de dimensionalidad de nuestro dataset, considerando sólo las variables numéricas, y proyectaremos las dos componentes principales, para ver si existe alguna relación entre éstas y nuestras variables objetivo.

Viendo las visualizaciones anteriores, la verdad es que en la primera, no se logra diferenciar bien algún patrón debido a la superposición de los puntos, sin embargo si aprovechamos la interactividad de plotly y vamos seleccionando una por una las categorías del rating, entonces podemos darnos cuenta de que no hay una separación cuando se utilizan las dos componentes para proyectar las variables numéricas. Sobre la segunda visualización, podemos observar que los valores grandes de estimated_sells están concentrados entre los intervalos [-10, -5] del eje y y [-10, -5] del eje x. Para este último pareciera ser que UMAP encuentra algunas diferencia que le permiten distinguir los registros por sus ventas estimadas.

A continuación abordaremos las variables predictoras que no abordamos anteriormente, developer, publisher, categories, genres, tags y short_description, buscando relaciones respecto las variables predictoras. Se partirá observando su relación con la variable rating, comenzando por la variable developer.

Lo primero que podemos observar es que en general la mayoría de las empresas desarrolladoras poseen sólo 1 juego, por lo menos en los registros de nuestro dataset. Transformaremos esta variable a numérica, reemplazándola por la cantidad de juegos que posee.

El gráfico muestra que la cantidad de juegos que ha hecho la compañía desarrolladora no está relacionada con el rating del juego, ya que para las distintas categorías del rating, la variable developer (transformada) distribuye de la misma manera. A continuación haremos el mismo ejercicio pero con la variable publisher.

Nuevamente nos encontrarmos con que no existe mucha diferencia entre cómo distribuye la variable transformada de publisher con las distintas categorías del rating. A continuación observaremos cómo se relaciona la variable categories con el rating del juego. Lo primero notar que este atributo contiene varias categorías permitidas para ese juego. Lo que se realizará será separar estas categorías y ver si por sí sólas se relacionan o no con el rating.

En esta visualización no se aprecian patrones muy claros, sí mencionar que para la categoría MMO llama la atención que, en proporción, posea más votos negativos y mixtos. Ahora analizaremos esta variable desde la perspectiva de cuántas categorías admite un juego en particular.

Nuevamente no se observan relaciones claras entre las categorías del rating y la cantidad de categories que tiene un juego. A continuación pasaremos a revisar la variable predictora genres, y se abordará de la misma manera que se abordó la variable anterior, debido a que también contiene múltiples generos dentro del mismo atributo.

Notar que para los generos Early Access, Free to Play, Gore, Massively Multiplayer, Simulation y Violent poseen más votos Negativos y Mixtos (dentro de tu propio género) en proporción a los demás tipos de rating. Ahora observaremos si la cantidad de géneros que tiene un juego tiene relación con su rating.

Viendo el gráfico anterior, no se observan distribuciones diferentes para las cantidad de géneros respecto a las distintas categorías del rating. A continuación, observaremos la variable tags la cual es muy parecida a genres, por lo que se abordará de la misma manera. Sólo porque existen más de 300 tags únicos, se eligirán los que estén en más de 15 juegos para poder realizar la visualización.

Es posible observar que en general no hay una tendencia clara a que ciertos tags sean evaluados con ratings distintos. Ahora observaremos si la cantidad de tags que posee un juego influye en el rating.

Es posible observar que la mayoría de los juegos poseen 3 tags, sin hacer distinción sobre su rating. Por último, sobre la variable short_description, no la consideraremos para la clasificación por lo que se visualizará. La decisión de no utilizarla es porque según juicio experto la descripción de un juego no influye ni en su rating ni en sus estimated_sells.

3. Preparación de Datos

En esta sección realizaremos todas las transformaciones necesarias a nuestros datos iniciales para posteriormente realizar nuestra predicción. Se crean dos funciones de preprocesamiento, la primera para el problema de clasificación y la segunda para el problema de regresión. En estas funciones se realizan las transformaciones a las variables categóricas, como también a algunas variables numéricas, las cuales son explicada dentro de éstas.

Luego se crea un objeto CountVectorizer que se encargará de identificar qué género, categoría y tag está dentro del juego, creando una columna para cada posible valor de los géneros, categorías y tags.

A continuación se definen las columnas numéricas a las cuales se les aplicarán los distintos tipos de escalamientos.

Posteriormente se definen 3 transformaciones, cuyas diferencias radican en el tipo de escalamiento que se realiza sobre las variables numéricas.

A continuación se pruebas las transformaciones realizadas de manera de corroborar que no existan problemas.

Se puede observar que las transformaciones se realizan sin mayores incovenientes.

4. Baseline

En esta sección se creará un modelo baseline el cual servirá como base de comparación para los próximos modelos que se implementen. Primero se crea una función que nos permita entrenar y evaluar el modelo.

Adjuntamos las transformaciones anteriores en un solo Pipeline y agregamos al final un clasificador sencillo, que será el KNN para el caso de la clasificación y una regresión lineal para el caso de la regresión. Primero se realiza para la clasificación y luego para la regresión.

Se observa que para el caso de la clasificación el modelo no obtiene muy buenos resultados, en donde la clase que en la que posee mejor desempeño respecto al f1-score es la Mixed y la Negative, con un de 0.30 (este valor puede cambiar al volver a ejecutar las celdas). Ahora veremos cómo se comporta para la regresión, para este problema utilizaremos un árbol de decisión.

Se puede observar que el modelo de árbol de decisión nos entrega un r2 negativo, lo que indica que en el fondo nos entrega una peor predicción que haber predecido símplemente el promedio de nuestra variable estimated_sells. Luego de tener estos baseline, procederemos a buscar otros modelos y optimizarlos para mejorar nuestro desempeño.

5. Optimización del Modelo

En este apartado buscaremos mejorar los resultados obtenidos en el baseline, probando distintos modelos y parámetros de éstos.

Para el problema de clasificación, probaremos los modelos GradientBoostingClassifier y HistGradientBoostingClassifier, ambos son modelos ensamblados. Se creará un pipeline con los pasos de transformación de datos, en donde se aplicarán las transformaciones creadas con los métodos preprocesarClasificacion y preprocesarRegresion, luego el de preprocesamiento en donde se aplicarán las transformaciones establecidas con el column transformer, posteriormente se implementa la selección de atributos basado en el SelectionPercentile que viene precedido por la previa trasformación de la matriz sparte a un array, y por último se implementa el clasificador. Para los clasificadores utilizados, se variarán algunos de sus hiperparámetros para buscar el modelo óptimo.

Los resultados muestran que el modelo en promedio mejoró sus resultados tanto macros como weighted para todas las métricas de desempeños. Sin embargo, si observamos las categorías individuales, podemos notar que por ejemplo, para la métrica de recall, para las clases Mixed y Mostly Positive disminuyó su desempeño en 7 y 1 punto respectivamente respecto del baseline. Sobre el f1-score notamos que el baseline es superior sólo en la clases Mixed, determinado por la mejora en el recall. A continuación observaremos cual fue la mejor combinación de parámetros que dieron los resultados recién presentados.

Se puede observar que para el step de Preprocesamiento el escalamiento utilizado fue el StandardScaler en conjunto con la utilización de Bag of Words para las categorías, géneros y tags. Luego en el paso de selección, se utilizaron el 100% de los atributos en conjunto con f_classif para la función de score. Por último, el clasificador utilizado fue el GradientBoosting con un max_depth de 8 y 100 estimadores. A continuación se optimizará el modelo del problema de regresión para mejorar los resultados obtenidos en el baseline. Se utilizarán los mismos modelos usados en el problema de clasificación, pero ahora para resolver el problema de regresión. El pipeline que se utilizará tendrá los mismos pasos, sin embargo cambia la función utilizada en el paso de transformaciones, en donde se implementará la creada para la regresión, y también en el paso de selección se cambia el SelectionPercentile por una reducción de dimensionalidad a través del PCA.

Se puede observar que el modelo que alcanzó mejores resultados fue el que utilizó como preprocesamiento el escalamiento de MinMax, en conjunto con el Bag of words, utilzando 4 componentes para el PCA y un GradientBoostingRegressor como clasificador, con jun max_depth de 1 y 100 estimadores.

6. Conclusiones

Luego de haber abordado el problema planteado, podemos observar que si bien los resultados no son muy buenos ni para la predicción del rating ni de las estimated_sells, obteniendo mejores resultados para la primera, se logró superar el baseline, lo cual es un logro. Es pertinente mencionar que los resultados del baseline para la clasificación no distan mucho de los obtenidos al realizar la optimización, lo que refleja que la optimización de hiperparámetros logra incrementar el rendimiento, pero no es que vaya a realizar maravillas sobre el desempeño del modelo, y eso que se utilizó un KNN, un modelo bien sencillo, para el baseline. Los resultados sobre el f1_weighted mejoraron en 5 puntos.

Sobre el regresor la verdad es que no se logró conseguir un buen modelo inclusive luego de la optimización, obteniendo un r2 de apenas 0.016, lo cual indica que el modelo es capaz de explicar sólo el 1.6% de la varianza de las ventas estimadas, lo cual es muy poco.

Sobre los resultados obtenidos, mencionar que no quedé conforme con el desempeño de los modelos ya que si lo necesitamos para tomar una decisión tan delicada como la inversión de dinero, no nos entrega la confianza necesaria para determinar donde debería destinarlo. Sin embargo, creo que dado los datos brindados, los resultados no pueden mejorarse mucho más a menos que se incluyan nuevos atributos, ya que fue posible observar en el análisis exploratorio que no existían patrones claros que nos permitieran diferenciar bien entre las distintas categorías del rating o los valores de las estimated_sells para los distintas características del dataset.

Creo que la competencia permitió generar un insentivo extra para quienes les gusta competir y así tratar de optimizar al máximo el desempeño, probando distintas combinaciones de hiper parámetros por harto tiempo para poder obtener el mejor resultado. Siento que el espíritu de competir nos lleva un paso más allá para conseguir el objetivo, y nos permite explorar diferentes caminos para poder llegar al objetivo.

Por último, mencionar que el proyecto nos permitió interiorizar de mejor manera los contenidos vistos en el curso ya que se abordaron gran parte de los tópicos del ramo de manera integral, pudiendo entender la cadena completa. Esto nos da una visión más acabada de lo que se espera sobre un proyecto de ciencia de datos.

Created in deepnote.com Created in Deepnote